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JE 要 : 骨 龄 评估 是 一 种 检测 儿童 内 分 兴 与 生长 发 育 异 常 的 常用 方法 ， 但 深度 学 习 方 法 中 低 质 量 手 部 X 射线 图 像 降 

入 评估 精度 。 针 对 该 问题 ,提出 一 种 增加 手 部 义 射 线 图 像 感 兴趣 区 域 面 积 的 对 齐 网 络 ,该 网 络 以 Swin Transformer 
结构 作为 主干 网 络 学 习 图 像 手 部 相似 性 并 取得 仿 射 系数 ， 且 在 训 TT 不 需 进行 大 规模 手 部 标注 。 在 骨 龄 评估 网 
络 中 ， 针 对 高 效 通道 注意 力 和 空间 注意 力 机 制 改 进 ， 提 出 双 池 化 高 效 通 道 注 意 力 和 非 对 称 卷 积 空间 注意 力 方法 ， 将 

这 两 种 方法 以 双重 注意 力 形式 和 Xception 网 络 相 结合 提出 DA-Xception。 在 RSNA 数据 集 上 进行 测试 ， 该 骨 龄 评估 
方法 达到 5.37 个 月 的 平均 绝对 误差 ， 相 较 于 其 他 深度 学 习 方 法 可 更 充分 提取 特征 ， 优 化 评估 结果 。 
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Pediatric bone age assessment method combined with dual attention network 


Zhang Xin, Zhang Junhua!, Zhang Shuai 
q (School of Information Science & Engineering, Yunnan University, Kunming 650500, China) 


Abstract: Bone age assessment is a common method to detect endocrine and growth abnormalities in children. But in deep 
learning methods, low-quality hand X-ray images reduce the final evaluation accuracy. To solve this problem, this paper 
proposed an alignment network that increases the area of interest in hand X-ray images. This network uses the Swin 
Transformer structure as the backbone network to learn image hand similarity and obtain affine coefficients and does not 
require large-scale hand annotation during the training process. In the bone age assessment network, for the improvement of 
efficient channel attention and spatial attention mechanism. This paper proposed dual-pool efficient channel attention and 
asymmetric convolution spatial attention method and combines these two methods in the form of dual attention and Xception 
network proposes DA-Xception. This paper tested the RSNA dataset, which achieved a mean absolute error of 5.37 months 
for this bone age assessment method. Compared with other deep learning methods, this method can fully extract features and 
optimize the evaluation results. 
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提取 。 例 如 ，Thodberg 等 人 [SI 设计 出 BoneXpert 系统 作为 骨 


0 引言 龄 评估 商用 性 软件 ， 该 系统 通过 分 析 手 部 中 的 感 兴趣 区 域 
人 的 发 育 年 龄 可 分 为 年 代 学 年 龄 和 生物 学 年 龄 ， 其 中 生 (region of interest, RoI), Jf Rol 区 域 评 分 得 到 骨 龄 结果 。 
CS 物 学 年 龄 更 加 客观 地 反映 了 人 类 实际 生长 发 育 情况 。 通 过 判断 近年 来 ，Spampinato 等 人 BI 采用 深度 学 习 方法 进行 骨 龄 
受 试 者 手 骨 册 和 牙齿 生长 成 熟 程度 外 是 生物 学 年 龄 主要 依据 。 自动 化 评估 , 提出 由 卷 积 神经 网 络 搭建 的 端 到 端 BoNet 系统 ， 
手 骨 骨 龄 评估 被 广泛 应 用 于 现代 儿科 临床 诊断 中 ， 医 生 该 方法 最 终 误差 为 9.5 个 月 。 此 后 多 种 基于 深度 学 习 的 骨 龄 


通过 分 析 受 试 者 非 惯用 手 部 X 射线 图 像 得 到 对 应 骨 龄 , 通过 评估 方法 被 提出 00-12， 其 中 众多 骨 龄 评估 方法 于 北美 放射 学 
与 年 代 年 龄 进行 对 比 ， 可 判断 出 儿童 生长 潜力 和 骨骼 成 熟 的 会 提供 的 手 部 X 射线 图 像 公 开 数 据 集 上 判断 性 能 和 精度 。 
程度 。 此 外 ， 骨 龄 评估 也 为 儿童 身高 发 育 情况 提供 参考 D]。 2019 年 ，Wu SE AUTE B X 射线 图 像 先 使 用 Mask R-CNN 
前 ， 传 统 的 骨 龄 评估 方法 有 图 谱 法 和 计 分 法 ， 图 谱 法 。 网络 进行 分 制 ， 去 除 图 像 中 干扰 噪声 ， 然 后 采用 注意 力 残 差 
通过 受 试 者 手 部 XX 射线 图 像 与 标准 图 谱 集 对 比 ,以 最 接近 标 。 子 网 络 (residual attention subnet, RAS) 进 行 骨 龄 回归 ， 该 方法 
图 谱 中 图 像 的 标签 为 受 试 者 骨 龄 ， 常 见 的 图 谱 法 有 ”最终 平均 误差 为 7.38 个 月 , 然而 该 方法 在 图 像 分 割 时 需要 大 
Greulich-Pyle 图 谱 法 和 内， 该 方法 平均 误差 为 11.5 PHBL ib ” 量 工 作对 手 部 区 域 标注 ， 影 响 骨 龄 评估 效率 。Liu 等 人 09 提 
分 法 通过 对 手 部 X 射线 中 若干 具有 代表 性 的 骨骼 分 别 评分 ， 出 VGG-U-Net 网 络 同样 进行 手 部 分 制 ， 该 网 络 将 VGG1605] 预 
最 后 计算 总 分 并 用 公式 转换 为 对 应 的 骨 龄 ， 和 常见 的 计 分 法 有 1 练 网 络 模型 代 蔡 U-Netu9 下 采样 层 ， 改 善 小 样本 数据 集 分 割 
TW 计 分 法 四 和 中 华 05 计 分 法 中 。 但 无 论 图 谱 法 还 是 计 分 法 。” 精度， 后 续 利用 骨 龄 标签 之 间 的 相互 关联 性 ， 在 数据 集 上 测试 
都 存在 明显 浆 端 ， 图 谱 法 的 结果 受 评估 者 主观 因素 影响 导致 结果 为 6.05 个 月 。2020 年 ，Hao 等 人 0 提出 OCNet 骨 龄 多 分 
评估 结果 误差 大 ， 计 分 法 由 于 要 对 腕 骨 、 骨 骨 等 手 骨 区 域 分 ”类 方法 代替 骨 龄 回归 ， 并 依据 手 部 发 育 连续 性 这 一 特征 ， 通 过 
别 评分 ， 故 存在 耗 时 长 、 效 率 低 的 缺陷 。 骨 龄 评估 模型 得 到 三 个 不 同 骨 龄 范围 值 ， 最 后 计算 范围 重合 情况 
随 着 计算 机 视觉 技术 兴起 ， 自 动 化 骨 龄 评估 方法 得 以 发 。 得 到 骨 龄 ,该 方法 最 终 误差 为 5.84 个 月 。2021 年 ，He 等 人 [首先 
展 ， 早 期 的 自动 评估 方法 是 对 人 工 评估 使 用 的 特征 进行 自动 IFR X 射线 图 像 进 行 无 损 压缩 再 用 SE-ResNet 网 络 提取 特征 
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得 到 骨 龄 ， 最 后 得 到 6.04 个 月 的 平均 绝对 误差 ， 此 方法 提升 了 提出 双 池 化 高 效 通 道 注意 力 (double pooling efficient channel 
输入 图 像 的 手 部 占 比 ， 但 未 处 理 图 像 中 存在 的 干扰 信息 ， 图 像 attention, DPECA), 强化 图 像 通道 中 整体 和 纹理 特征 。3) 提 出 
质量 未 得 到 改善 。 Salim 等 人 09 在 图 像 分 割 基 础 上 , 将 岭 回 归 层 韭 对 称 卷 积 空 间 注 意 力 (asymmetric convolution spatial 
加 入 上 骨 龄 评估 模型 中 而 提出 岭 回 归 网 络 (ridge regression network, ^ attention, ACSA) 提 取 图 像 空 间 中 细 粒 度 特征 ， 最 终 在 数据 集 
RRNet)， 该 方法 测试 的 绝对 误差 值 为 6.38 个 月 。 上 实验 证 明 该 方法 优 于 其 他 骨 龄 评估 方法 。 
从 上 述 方 法 中 得 知 , FAK 射线 图 像 质 量 的 好 坏 影响 最 1 ”研究 方法 

终 骨 龄 评估 的 精度 ， 而 对 大 规模 低 质 量 图 像 分 割 处 理会 降低 : 
骨 龄 评估 效率 。 针 对 这 一 问题 ， 本 文 对 数据 集中 图 像 进行 处 本 文 的 骨 龄 评估 方法 主要 由 两 个 主干 网 络 组 成 ， 如 图 1 
理 ， 减 少 图 像 噪声 、 对 比 度 不 统一 情况 。 针 对 数据 集中 不 同 。” 所 示 。 首 先是 提升 原始 图 像 质量 和 手 部 位 置 校 准 的 手 部 对 齐 
图 像 手 部 Rol 存在 差异 ， 本 文 引入 对 齐 网 络 ， 使 数据 集中 原 网 络 ， 然 后 是 提取 手 部 Rol 信息 后 的 骨 龄 回归 网 络 。 受 近年 
始 图 像 与 标准 手 部 X 射线 图 像 具 有 一 致 的 手 部 结构 , 减 小 数 X VIT (vision transformer)P9 网 络 在 计算 机 视觉 任务 表现 优异 
据 集中 手 部 尺寸 和 角度 不 同 的 影响 。 为 了 强化 骨 龄 评估 网 络 的 启发 ， 本 文 在 对 齐 网 络 中 引入 Swin Transformer 网 络 PU 作 
特征 提取 能 力 ， 本 文 在 骨 龄 回归 评估 中 设计 双重 注意 力 ”为 主干 网 络 提取 特征 ， 然 后 对 图 像 特征 降 维 接 入 全 连接 层 ， 
Xception 网 络 (dual attention Xception, DA-Xception)， 该 网 络 最 终 得 到 原始 输入 图 像 与 标准 图 像 之 间 的 仿 射 关 系 ， 并 利用 
通过 双 支 路 并 行 学 习 图 像 空间 和 通道 中 的 手 部 Ro, RAE 仿 射 系数 使 原始 图 像 具 有 标准 手 部 结构 , 减少 X 射线 图 像 中 
行 特征 融合 回归 得 到 骨 龄 评估 结果 。 手 部 尺寸 和 角度 差异 对 最 终 评 估 结 果 的 影响 。 在 回归 网 络 中， 
与 当前 骨 龄 评估 方法 相 比 , 本 文 的 主要 工作 和 贡献 如 下 : 将 尺寸 为 299x299 的 手 部 图 像 输入 DA-Xception 网 络 提取 手 
1) 引 入 手 部 图 像 对 齐 网 络 ， 依 据 图 像 手 部 结构 的 相似 性 ， 保 ”部 Ro 特征 信息 ， 然 后 通过 全 局 平均 池 化 层 降 低 通道 维度 并 
证 在 骨 龄 评估 中 手 部 Rol 区 域 的 一 致 ， 与 图 像 分 割 相 比 ， 采 ”与 输入 性 别 特 征 编码 后 的 进行 融合 ， 后 接 入 512 个 神经 元 的 

T^ O 用 手 部 对 齐 不 需要 对 图 像 大 规模 标注 ， 增 大 骨 龄 评估 中 的 有 全 连接 层 和 dropout 层 ， 最 终 通 过 单个 神经 元 的 全 连接 层 

二 效 Rol 面积 。2) 在 骨 龄 回归 网 络 中 设计 DA-Xception W, BEIREAR RAR. 
手 部 对 齐 网 络 骨 龄 回归 网 络 
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图 1 上 骨 龄 评估 总 体 的 网 络 模 型 图 
Fig.1 The overall network structure of bone age assessment 

1.1 手 部 对 齐 网 络 图 像 在 水 平和 垂直 方向 上 的 位 移 程 度 ，sx 和 sy 表示 水 平 与 秋 

骨 龄 数据 集中 原始 X 射线 图 像 手 部 通常 存在 旋转 、 移 动 直方 向 上 的 缩放 大 小 ，9 为 旋转 角度 。 原 始 图 像 经 过 仿 射 系 

和 不 同比 例 的 变化 , 并 且 这 种 情况 同样 存在 其 他 X 射线 数据 ” 数 转 换 的 仿 射 关系 如 式 (1) 所 示 。 

集 P33。 针 对 上 述 问 题 本 文 引入 手 部 对 齐 网 络 ， 以 减少 原始 图 SxCOsSO  —sysinÜ ty 
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RPEN X 射线 形态 变化 情况 ,增加 后 续 骨 龄 回归 中 的 特征 
提取 能 力 ， 对 齐 网 络 工作 过 程 如 图 2 所 示 。 首 先 原始 图 像 输 UNDE URGE usu Ta U — s 
入 Swin Transformer 网 络 中 提取 手 部 特征 进行 训练 ， 并 以 标 0 0 1 
准 图 像 为 标签 ， 输 出 图 像 仿 射 系数 ， 原 始 的 输入 图 像 通过 仿 Rt G 为 图 像 栅 格 化 ，B 为 图 像 双 线性 插值 ， 两 者 可 减少 图 
射 变换 对 齐 到 标准 图 像 。 像 在 仿 射 变换 过 程 中 特征 信息 的 丢失 。 

卷 积 神经 网 络 (Convolutional Neural Network, CNN) 分 层 


是 取 图 像 特征 , 通过 局 部 连接 (Local Connectivity) f Zt 4 5 
(Parameter Sharing) 方 式 增强 特征 提取 能 力 、 减 少 网 络 参 数量 ， 
日 对 图 像 全 局 信息 的 关注 度 不 足 。 而 ViT 网 络 在 自然 语言 处 
理 (Natural Language Processing, NLP) 中 引入 多 头 注意 力 弥补 


s,cosÜ -—s,sinÜ t, 
s,sinÜ  s,cosÜ t, 


0 0 1 


Input image Affine aray Affine image 这 一 缺陷 , 但 由 于 自然 语言 和 图 像 输入 规模 存在 差异 , 使 VIT 
图 2 FÈ X 射线 图 像 的 对 齐 原 理 网 络 计 算 复 杂 度 大 。 而 Swin Transformer 网 络 分 层 选 用 不 同 
Fig.2 Principles of alignment of hand X-ray images 的 采样 值 减 小 计算 量 ， 并 提出 滑动 窗口 方法 允许 局 部 特征 跨 

对 于 给 定 的 输入 图 像 7 和 标准 图 像 7?， 对 齐 网 络 通 过 得 窗口 连接 提高 效率 ， 增 大 网 络 感受 野 。 
到 仿 射 系数 gpg， 使 得 仿 射 图 像 g( 四 具有 与 标准 图 像 相 似 的 标 本 文 的 Swin Transformer 主干 网 络 中 可 分 为 4 个 阶段 
准 手 部 结构 ， 在 网 络 训 练 过 程 中 结构 损失 可 定义 为 (Stage), 每 个 阶段 分 别 由 2, 2, 6, 2 个 Swin Transformer Block 
Ls-fig(1).T). 构成 ， 图 3 为 连续 的 两 个 基本 模块 ， 其 中 包含 滑动 窗口 的 多 
手 部 XX 射线 图 像 输 入 对 齐 网 络 得 到 由 五 个 参数 组 成 的 仿 。 头 自 注 意 力 机 制 (Multi-head Self Attention, MSA)、 多 层 感知 
射 系数 g， 具 体形 式 为 p=(tx, ty, so sy, 0). EP, G6 t RS 机 (Multilayer Perceptron, MLP)、 归 一 化 层 (LayerNorm, LN)。 


202205.00121v1 
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图 3 ”连续 两 个 Swin Transformer 基本 单元 
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Fig.3 Two successive Swin Transformer blocks 
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本 文 引 入 余弦 相似 度 作 为 对 齐 
间 的 余弦 相似 度 将 两 张 图 像 转换 为 
间 夹 角 的 余弦 值 作为 图 像 相 似 度 关 
如 式 (2) 所 示 。 


Ilo x 
L, =1—cos < LT >= 


网 络 的 结构 损失 ， 图 像 之 
可 量 ， 并 通过 计算 向 量 之 
系 。 故 对 齐 网 络 损失 函数 


T|, -XL,xT, 
Ir; -24x Q) 


小 xl 


H, 7 为 原始 图 像 向 量 ， T 为 标准 


图 像 向 量 。 


1.2 上 骨 龄 回归 网 络 
本 文 的 骨 龄 


n 


归 网 络 为 DA-Xception ， 该 网 络 基于 


Xception 卷 积 神经 网 络 上 和 双重 注意 力 机 制 结合 而 提出 ， 原 


始 Xception 结构 如 图 4 所 示 。 


GlobalAveragePooling 
SeparableConv 2048, 3x3,ReLU 
SeparableConv 1536, 3x3,ReLU 

小 
P 
MaxPooling 3x3, stride=2x2 
ReLU, SeparableConv 728, 3x3 


Conv 1x1 
ReLU,SeparableConv 1024,3x3 


Repeated 
8 ümes 


图 4 原始 Xception 网 络 结构 


Fig.4 Original Xception network structure 


1.2.1 3t € i£ € 7] Xception 


Xception 原始 网 络 模型 由 多 个 深度 可 分 离 卷 积 层 组 成 ， 
除去 网 络 的 首尾 部 分 ， 其 余 卷 积 模块 均 采 用 线性 残 差 方式 连 


接 ， 根 据 数据 输入 Xception 网 络 先后 处 理 顺 序 ， 将 图 4 网 络 结 


构 主要 分 为 三 个 模块 , 分 别 为 入 口 流 (entry flow), PA] 


流 (middle 


fow 和 出 口 流 (exit flow)。 相 比 于 Inception V3 网 络 鸣 ， 两 者 参 


算 量 ， 该 体系 结构 更 有 效 地 使 


提取 性 能 。 


Hn 


数量 相近 ,但 Xception 网 络 采用 深度 可 分 离 卷 积 降低 网 络 运 
用 模型 参数 ， 达 到 更 好 的 特征 


原始 Xception 结构 虽然 具有 残 差 连接 模块 ， 但 总 体 为 线 
性 神经 网 络 ， 网 络 模型 只 能 按照 顺序 提取 特征 ， 这 种 方式 无 
法 充分 提取 特征 中 通道 与 空间 信息 。Fu 等 人 为 强化 语义 分 
割 中 特征 相关 联 性 提出 Dual Attention Network (DA-Neb， 该 


像 通道 和 


网 络 采用 并 行 的 空间 和 通道 注意 力 结构 同时 提取 图 


立 置 上 的 特征 。Lin 等 人 R26 提出 双 线 性 (Bilinear) 模 型 进行 图 
像 分 类 ， 将 网 络 内 部 分 为 两 个 分 支 结 构 ， 并 利用 不 同 分 支 


ak uk 


行 提 取 图 像 中 特征 ， 最 后 采用 双 线性 池 化 操作 将 两 个 分 支 4 
征 融 合 ， 输 出 分 类 结果 。Liu 等 人 7 针对 遥感 图 像 的 目标 检 


测 提出 Center Boundary Dual Attention Network(CBDA-Net), 
该 网 络 以 双重 结构 方式 生成 中 心 区 域 注 意 力 和 边界 区 域 注意 


受 上 述 工 作 启 发 并 结合 Xception 网 络 结构 特性 
计 出 如 图 5 所 示 DA-Xception 网 络 。 


1A 
力 ， 最 终 在 目标 检测 时 能 够 消除 背景 噪声 干扰 并 检测 到 关键 
区 


E， 本 文 设 
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图 5  DA-Xception 


网 络 结构 


Fig. 5 Dual attention Xception network structure 
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相 比 于 原始 Xception 网 络 中 Middle flow 结构 重复 8 次 所 示 。 

线性 残 差 模块 (Residual block) Ef, DA-Xception 网 络 将 0， (Q3 

Middle flow 模块 以 双 线性 结构 左右 两 个 分 支 分 别 重 复 4 次 ， 


i i i CD 245405, 73x xx3) (6) 
并 在 每 条 支 路 的 残 差 块 中 多 次 加 入 DPECA 模块 与 ACSA 模 6 
块 , 在 左 支 路 中 , 采用 DPECA 加 强 图 像 通 道 之 间 特 征 信息 ， dio 
右 支 路 则 对 图 像 空 间 相 关联 特征 学 习 。Middle flow 中 的 双 线 为 了 实现 合适 的 跨 通道 交互 作用 ， 卷 积 核 尺寸 通过 特 
性 结构 并 行 对 通道 和 空间 特征 信息 提取 ， 两 条 支 路 上 的 特征 。” 征 图 的 通道 C 数量 自 适应 进行 选择 , 两 者 对 应 关系 如 式 (7) 所 示 。 
在 Exit flow 结构 中 特征 融合 ， 然 后 接 入 全 连接 层 得 到 骨 龄 评 - log? b 
a =W(C)=| +2 (1) 
估 结 果 。 Y aa 

相 比 于 DA-Net 网 络 中 在 输出 结构 之 前 单 次 加 入 双重 注 EH, |e lo 表示 取 最 接近 运算 结果 的 奇数 。 
意 力 , 本 文 所 提出 的 DA-Xception 网 络 结构 在 Middle flow 的 1.2.3 非 对 称 卷 积 空间 注意 力 
双 分 支 上 多 次 加 入 通道 和 空间 注意 力 机 制 ， 引 导 两 条 支 路 分 Sanghyun 提出 卷 积 注意 力 模块 (Convolutional Block 
别提 取 图 像 中 通道 与 空间 特征 。 双 线性 模型 29 利用 双 分 支 学 ”Attention Module, CBAM) P?1， 本 文 基于 CBAM 结构 中 空间 
习 特 征 ， 但 左右 两 条 支 路 结构 一 致 ， 使 最 终 特 征 融合 时 可 能 ” 注意 力 (Spatial Attention, SA) 提 出 如 图 7 所 示 的 ACSA 结构 。 


存在 元 余 。 本 文 所 提出 的 双 线 性 融合 方法 在 进行 骨 龄 评估 时 ， 
有 效 的 提取 到 图 像 手 部 特征 ， 消 除了 背景 噪声 干扰 。 
1.2.2 双 池 化 高 效 通道 注意 力 
注意 力 机 制 通过 增加 训练 过 程 中 感 兴趣 区 域 特征 张 量 权 
重 ， 降 低 无 意义 背景 的 权重 ， 以 提高 网 络 特征 提取 能 力 。 
Wang’ je H R 6(a) 所 示 高 效 通 道 注意 力 (Efficient Channel 
Attention, ECA) 模 块 在 关注 通道 间 注 意 力 中 避免 降低 通道 维 
度 ， 同 时 以 轻 量 级 的 方式 捕捉 跨 信道 交互 。 
但 ECA 中 仅 对 输入 特征 进行 全 局 平均 池 化 (Global 
Average Pooling, GAP) 仅 提取 图 像 整 体 背 景 信息 , 却 丢 失 了 图 
像 中 纹理 特征 提取 。 在 此 基础 上 本 文 提出 如 图 6(b) 所 示 
DPECA 结构 ， 对 输入 特征 进行 GAP 与 全 局 最 大 池 化 (Global 
Maximum Pooling, GAP) 操 作 , 强化 骨 龄 评估 网 络 对 图 像 中 手 
部 整体 与 纹理 特征 充分 提取 。 


Avg Pooling 


Max Pooling 


HSigmoid 


Global Avg Global Avg Global Max 
Pooling Pooling Pooling 图 7 ” 非 对 称 卷 积 空间 注意 力 机 制 结构 
AE] ib] lx1xC| Fig.7 Asymmetric convolution spatial attention module structure 
ESO) pur CD 在 ACSA P, 先 对 图 像 特 征 分 别 平均 池 化 和 最 大 池 化 操 
ixboc[ 作 聚 合 图 像 的 空间 信息 ， 生 成 两 个 权重 矩阵 分 别 为 Fag € 
Sigmoid BatchNorm + HSigmoid RYB” QI Eu ER”*H*1， 然 后 采用 1X7 卷 积 核 和 7X1 卷 积 
1x1xC 核 组 代替 CBAM 中 7x7 的 卷 积 核 ， 保 证 卷 积 核 的 感受 野 不 
Dense ERELU 变 ， 提 取 图 像 空 间 中 细 粒 度 信息 ， 减 小 计算 量 ， 将 两 种 权重 
Fou RE 结合 得 到 空间 注意 力 M:(7)， 具 体 计 算 如 式 (8) 所 示 。 
Fo M,(F)-o(f?? (LAvgPool(F); MaxPool( F)])) (8) 
其 中 万” 为 非 对 称 卷 积 核 组 。 该 空间 注意 力 机 制 加 权 选 择 性 
(a) ECA 结 构 (b) DPECA 结 构 地 聚合 空间 特征 相似 程度 ， 不 同 空间 位 置 特征 ， 注 意 力 权 重 
图 6 注意 力 结构 改进 对 比 由 两 个 位 置 的 特征 相似 度 决定 ， 相 似 特征 表现 出 更 相关 联 的 
Fig.6 Attention structure improvement comparison 特性 。 
对 于 DPECA 输入 特征 Fin ERW*H*C, 通过 GAP 与 GMP 1.3 模型 损失 函数 与 评价 指标 
后 的 图 像 特征 定义 为 Fgap 和 Fenp 其 对 应 公式 为 式 (3) 和 式 (4)。 骨 龄 评估 作为 一 项 回归 任务 ， 评 估 模 型 的 最 终 输出 结果 
Fí,-7max(Fz(,j) O0«i«H,0«j«W (3) 为 具体 实数 值 。 因此 , 本 文选 取 均 方 根 误差 (Root Mean Square 


EQ-LL SY REG) OicHOcj«W a) Error, RMSE) 作 为 损失 函数 ， 其 计算 公式 如 式 (9) 所 示 。RMSE 

(0 HXW 损失 函数 相对 于 平均 绝对 误差 (Mean Absolute Error, MAE) ffi 
其 中 max(。) 表 示 取 特征 图 像 对 应 通道 中 的 最 大 值 ， 丈 、 鼠 和 失 在 回归 中 表现 出 非 线 性 的 损失 值 降低 ， 在 损失 较 大 时 ， 网 
C 分 别 表示 输入 特征 的 长 度 、 高 度 和 通道 个 数 。 池 化 后 的 特 络 模型 梯度 下 降 快 ， 使 网 络 快速 收敛 。 损失 较 小 时 RMSE 与 
征 进行 连接 并 通过 相同 一 维 卷 积 层 共享 权重 参数 ， 如 式 (5) 所 示 。 MAE 的 值 接近 ， 网 络 模型 以 线性 损失 降低 。 
最 后 两 个 特征 经 过 全 连接 层 聚 合生 成 通道 间 的 注意 力 关 系 。 n 0) 
M, o(ConID, ([F,,, F,,, D) (5) : 
其 中 Con1D 表示 一 维 卷 积 操作 。o 为 HSigmoid 非 线性 激活 其 中 ，N 为 样本 个 数 ， 5 为 模型 预测 骨 龄 结果 ， 3y; 为 对 应 
函数 。HSigmoid 函数 采用 分 段 拟 合 方式 实现 Sigmoid 函数 ， 标注 真实 值 ， 从 式 (9) 中 可 知 ， 随 着 RMSE 值 减 小 ， 模 型 进行 
但 HSigmoid 在 网 络 训练 时 计算 速度 更 快 ， 有 具体 公式 如 式 (6) ”评估 结果 的 优化 。 
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在 骨 龄 评估 中 ， 采 用 平均 绝对 误差 作为 指标 如 式 (10) 所 示 。 2.4 ”图像 对 齐 结果 

数据 集 图 像 经 过 对 齐 网 络 后 进行 仿 射 得 到 标准 图 像 如 图 
10 所 示 。 图 10(a) 中 原始 图 像 中 手 部 位 置 和 尺寸 存在 差异 ， 
这 些 差 异 使 每 张 图 像 中 的 手 部 Rol 区 域 不 一 致 , 图 10(b) 为 手 
部 对 齐 后 的 手 部 和 射线 图 像 。 


14S. 
MAE - Yd -| (10) 
i=l 


O 


2 ”实验 结果 与 分 析 


2.1 数据 集 

本 文 的 骨 龄 评估 数据 集 取 自 2017 年 北美 放射 学 会 
(Radiological Society of North America, RSNA) 举 办 的 儿童 骨 
龄 挑战 比赛 公开 数据 集 。 数 据 集中 共有 12811 KEZ, UE 
6933 张 男 性 和 5878 张 女性 手 骨 和 射线 图 像 ， 每 张 图 像 对 应 
骨骼 年 龄 按 月 为 最 小 精度 进行 划分 ，RSNA 数据 集 骨 龄 分 布 
如 图 8 所 示 。 
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1000 (a) 原始 数据 集 图 像 
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图 8 RSNA 数据 集中 骨骼 年 龄 分 布 
Fig.8 Bone age distribution in RSNA dataset 


(b) 使 用 网 络 对 齐 后 图 像 


在 骨 龄 评估 结果 优化 过 程 中 ， 训 练 集 用 于 模型 的 权重 更 
新 优化 , 验证 集 用 于 监控 模型 训练 过 程 并 反馈 实时 训练 性 能 ， 图 10 数据 集 图 像 对 齐 前 后 对 比 
测试 集 则 对 模型 的 泛 化 能 力 进 行 最 终 评 估 。 本 文 实验 中 随机 Fig. 10 Dataset image alignment before and after comparison 
挑选 数据 集中 800 张 图 像 进行 验证 ，200 张 图 像 进行 测试 ， 可 以 看 到 ， 对 齐 后 的 图 像 调 整 了 手 部 倾斜 角度 和 图 像 中 
其 余 图 像 进行 网 络 模型 训练 。 手 部 区 域 比例 ， 使 手 部 中 感 兴趣 区 域 更 明显 且 区 域 一 致 ， 减 
2.2 实验 配置 少 后 续 骨 龄 回归 中 错误 信息 干扰 ， 使 有 效 的 手 部 特征 更 能 够 
本 文 网 络 模型 训练 均 在 Intel(R) Core(TM) i7-10700KF ”充分 地 被 提取 。 


CPU, NVIDIA GeForce RTX 3070 GPU 和 4X8G 内 存 的 硬件 2.5 基准 网 络 对 比 
环境 下 完成 ， 以 TensorFlow 2.5.0 为 深度 学 习 框 架 、 为 了 选择 合适 的 网 络 结构 进行 骨 龄 评估 工作 ， 本 文 挑选 
Keras2.6.0 API 的 软件 环境 进行 模型 训练 ， 编 程 语言 为 EfficientNetB4、 ResNet101、 DensNet201 , Inception ResNet V2 
Python3.8.12。 本 文 实验 中 使 用 Adam6B9 优 化 器 ， 并 将 初始 学 和 Xception 五 种 经 典 网 络 结构 进行 骨 龄 评估 ， 并 观察 评价 指 
习 率 设置 为 0.001, 模型 训练 进行 100 KAR, 并 在 训练 过 程 标 。 基 准 网 络 评估 中 对 网 络 结构 和 数据 集 不 做 任何 处 理 ， 将 
中 对 验证 损失 进行 监控 ， 在 多 次 未 出 现 损 失 优化 则 减 小 学 习 图 像 尺 寸 统 一 至 299X299 后 输入 五 类 网 络 中 得 到 表 1 所 示 


率 。 批 量 输入 大 小 设置 为 16, 网 络 输入 图 像 尺 寸 为 299X299， 的 五 种 网 络 骨 龄 评估 结果 。 采 用 原始 Xception 网 络 评估 结果 
采用 均 方 根 误差 作为 网 络 模 型 损失 ， 平 均 绝对 误差 为 评价 指 ”在 五 组 网 络 中 表现 最 佳 , 骨 龄 评估 平均 绝对 误差 为 7.41 个 月 ， 
标 ， 以 衡量 骨 龄 评估 值 和 真实 值 之 间 的 差距 。 该 网 络 参 数量 适中 ， 因 此 后 续 的 骨 龄 评估 工作 选择 
2.3 图 像 预 处 理 Xception 网 络 结构 进行 改进 ， 以 此 优化 最 终 回归 精度 。 

手 部 X 射线 图 像 由 于 采集 设备 和 拍摄 曝光 方法 存在 差 表 1 不 同 基 准 网 络 的 误差 与 参数 量 
异 ， 不 同 图 像 分 辩 率 和 灰 度 分 布 不 均匀 ， 导 致 评估 结果 误差 Tab. 1 MAE and parameter with different baseline networks 
BIRK. KLIT K 射线 图 像 进行 对 比 度 统一 和 降 噪 处理， 先 将 网 络 模型 MAE/ 参数 量 /107 
X 射线 图 像 进行 直方 图 均衡 化 ， 使 图 像 灰 度 分 布 调整 到 适当 ResNet101 8.70 4.37 
范围 内 ， 在 不 影响 整体 对 比 度 的 情况 下 增强 局 部 对 比 度 ;， 后 DenseNet201 8.47 1.93 
对 X 射线 图 像 进 行 自 适应 伽 玛 变换 使 其 对 比 度 拉 伸 , 增加 图 EfficientNetB4 7.90 1.86 
像 中 低 亮度 像素 值 ， 并 抑制 高 亮度 像素 减少 情况 。 为 了 消除 Inception ResNet V2 7.46 5.51 
图 像 中 的 噪声 干扰 ， 采 用 双边 滤波 进行 平滑 处 理 ， 过 程 如 图 Xception 7.41 2.19 
9 所 示 。 2.6 ”消融 与 性 别 实验 


为 了 验证 本 文 骨 龄 评估 方法 的 有 效 性 ， 本 文 对 评估 过 程 
中 的 各 个 模块 进行 消融 实验 ， 衡 量 不 同 结构 在 骨 龄 评估 中 的 
作用 。 首 先 验证 网 络 结构 中 不 同 模块 的 有 效 性 ;然后 探究 本 
文 的 双重 注意 力 方 法 与 其 他 注意 力 改 进 机 制 分 析 对 比 ; 最 后 
探讨 性 别 因素 对 骨 龄 回归 结果 影响 实验 。 
2.6.1 不 同 模块 消融 实验 结果 
Ho X 射线 图 像 的 预 处 理 过 程 本 文 的 骨 龄 评估 工作 主要 分 为 三 个 部 分 , 即 图 像 预 处 理 、 
Fig. 9 The preprocessing steps of X-ray images Swin Transformer 网 络 将 图 像 对 齐 和 DA-Xception 网 络 进行 


| 


原始 图 像 直方 图 均衡 伽 马 变换 双边 滤波 
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骨 龄 回归 。 对 上 述 三 个 模块 进行 消融 实验 对 比 ， 对 比 实 验方 与 Xception 网 络 融合 ， 得 到 回归 误差 相对 于 第 三 组 实验 降低 
法 分 为 : 1) 仅 使 用 Xception 网 络 进行 骨 龄 回归 ; 2) 加 入 图 像 ”0.49 个 月 。 第 五 组 实验 为 本 文 所 提出 方法 ， 将 第 四 组 两 个 注 
预 处 理工 作 ; 3) 加 入 图 像 对 齐 工作 ; 4) 在 回归 网 络 中 加 入  ” 意 模 块 更 换 为 DPECA 模块 与 ACSA 模块 构成 双重 注意 力 机 


DPECA 和 ACSA 模块 ， 各 实验 骨 龄 评估 精度 如 表 2 所 示 。 制 ， 最 终 骨 龄 评估 结果 5.37 个 月 。 
表 2 消融 实验 的 MAE 值 为 了 探究 不 同 网 络 的 骨 龄 回归 方式 ， 本 文 将 后 四 组 实验 
Tab.2 MAE of ablation experiments 的 网 络 结构 绘制 热力 图 进行 网 络 的 可 视 化 ,其 结果 如 图 12 所 
Xception — 预 处 理 。 图 像 对 齐 ”双重 注意 力 — MAE/ 月 示 。 每 一 列 对 应 不 同 网 络 结构 的 注意 力图 。 
Y 7.41 Original Xception Xception Xception Xception 
Y j 6.67 * Bilinear *DANet *ECA«SA — +DPECA+ACSA 
V V V 5.72 


Y N V N 5.37 L t 
在 表 2 中 ， 对 图 像 预 处 理 后 骨 龄 评估 平均 绝对 误差 值 为 "s "s "s 
6.67 个 月 ， 进 一 步 将 图 像 对 齐 后 ， 骨 龄 评估 误差 减 小 到 5.72 

个 月 ,最 后 将 对 齐 图 像 输入 到 Xception 网 络 和 双重 注意 力 结 

合 的 DA-Xception 网 络 结构 中 进行 骨 龄 评估 ， 得 到 最 终 误差 | 

结果 为 5.37 个 月 , 上 述 三 个 模块 分 别 使 误差 结果 降低 了 0.74 [ 

4H. 0.95 个 月 和 0.35 个 月 。 因 此 在 骨 龄 评估 过 程 中 ， 对 图 

像 预 处 理 有 效 减 少 了 原始 图 像 中 存在 的 噪声 ， 将 不 同 角度 和 

大 小 的 手 部 图 像 对 齐 ， 增 大 了 图 像 中 有 效 手 部 区 域 占 比 ， 保 

证 了 手 部 Rol 保持 一 致 。 将 双重 注意 力 加 入 到 Xception 网 络 i 
结构 中 使 网 络 关注 到 图 像 中 更 加 丰富 的 关键 特征 ， 提 高 最 终 

骨 龄 评估 精度 。 

神经 网 络 的 欠 代 情况 反映 模型 性 能 好 坏 ， 本 文选 取 骨 龄 i 

评估 误差 为 5.37 个 月 的 最 优 模 型 训练 过 程 曲 线 如 图 11 所 示 ， 12 ”不 同 网络 结构 热力 图 
蓝 色 曲线 表示 训练 集 MAE 值 , 红色 表示 验证 集 MAE fü. 可 Fig. 12 Heatmap of different network structures 

以 看 到 ， 随 着 迭代 次 数 的 增加 ， 训 练 集 与 验证 集 的 平均 绝对 可 以 看 到 ， 第 二 组 实验 中 双 线 性 结构 对 骨 龄 评估 手 部 区 
误差 值 不 断 减 小 , 并 在 20 个 轮 次 后 , 两 者 的 减 小 速度 变 缓 并 ” 域 关注 度 不 足 ， 因 此 相对 与 Xception 原始 网 络 结构 骨 龄 评估 
逐渐 趋 于 稳定 ， 当 训练 100 轮 次 时 ， 训 练 集 损失 曲线 衰减 绥 误差 增 大 ， 第 三 组 实验 为 Xception 网 络 结合 DA-Net， 其 热 
慢 ， 此 时 网 络 已 经 充分 提取 有 效 特 征 ， 骨 龄 回归 结果 趋 于 稳 力图 可 以 看 到 该 网 络 中 不 仅 提 取 手 部 区 域 特征 ， 而 且 关 注 手 
定 。 边沿 背景 信息 ， 网 络 图 像 背 景 特征 降低 骨 龄 评估 结果 。 
第 四 组 与 第 五 组 实验 为 在 Xception 网 络 结构 中 加 入 原始 


[x 


ng 


Train MAE 的 双重 注意 力 与 本 文 所 改进 双重 注意 力 对 比 ， 在 图 12 中 两 
2 w—— SA 种 网 络 结构 关注 区 域 相似 ， 但 第 五 组 关注 手 部 区 域 面积 更 大 


且 更 加 关注 手 部 关键 性 区 域 ， 从 最 终 骨 龄 回归 结果 得 知 ， 本 

文 所 提出 方法 在 此 基础 上 误差 减 小 0.28 个 月 。 因 此 采用 

DPECA 5 ACSA 模块 ， 能 够 更 加 有 效 的 提取 手 部 特征 。 

2.6.3 性 别 因素 对 比 实验 

10 20 30 Mmm 80 90 100 在 人 的 生长 发 育 中 ， 男 性 与 女性 在 同一 年 龄 段 手 部 发 育成 
熟 程度 存在 差异 ， 探 究 性 别 因 素 对 骨 龄 评估 结果 如 图 13 所 示 。 


图 11 ”网 络 迭 代 中 训练 与 验证 MAE 曲线 
Fig. 11 MAE curve of training and validation 

2.6.2 双重 注意 力 有 效 性 验证 实验 
为 了 验证 本 文 所 提出 双重 注意 力 机 制 的 有 效 性 ， 本 小 节 

将 本 文 方法 与 其 他 注意 力 改进 机 制 实验 分 析 对 比如 表 3 所 示 。 
表 3 不 同 注意 力 机 制 方法 结果 


Tab.3 Results of different attention mechanism methods 


Methods MAE/ 
Xception 5:72 
Xception + Bilinear 5.86 
Xception + DA-Net 6.14 男性 女性 剔除 性 别 ”添加 性 别 
Xception + ECA + SA 5.65 图 13 性别 因素 对 骨 龄 评估 结果 影响 
Xception + DPECA + ACSA(Ours) 5:37 Fig. 13 Gender influence in bone age assessment 
第 一 组 实验 将 图 像 预 处 理 后 再 对 齐 ， 最 后 采用 Xception 实验 分 为 四 个 部 分 : 1) 单独 对 RSNA 数据 集中 男性 手 部 


主干 网 络 进行 骨 龄 评估 ,平均 绝对 误差 为 5.72 个 月 。 第 二 组 — X 射线 图 像 进行 骨 龄 评估 ; 2) 单独 对 女性 进行 骨 龄 评估 ; 3) 
在 此 基础 上 将 Xception 网 络 Middle flow 模块 更 换 为 双 线 性 ”在 RSNA 数据 集中 剔除 性 别 信息 进行 骨 龄 评估 ; 4 加 入 性 别 
结构 且 不 加 入 任何 注意 力 机 制 ， 其 评估 误差 增加 0.14 个 月 。 “信息 进行 骨 龄 评估 。 单 独 对 男性 和 女性 分 别 进 行 骨 龄 评估 平 
第 三 组 将 DA-Net 结构 与 Xception 网 络 融合 ， 得 到 误差 结果 均 绝 对 误差 为 5.43 和 5.65 个 月 ， 不 加 入 性 别 特征 骨 龄 评估 
为 6.14 个 月 。 第 四 组 将 ECA 模块 和 SA 模块 以 双 支 路 方式 误差 为 6.52 个 月 ， 在 骨 龄 评估 中 加 入 性 别 信息 MAE X 5.37 
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个 月 。 在 对 单一 性 别 进行 骨 龄 评估 时 ， 相 比 于 不 加 入 性 别 误 
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他 骨 龄 评估 方法 相 比 评 估 结 果 精 度 更 高 ， 为 后 续 骨 龄 评估 工 


差分 别 减 小 了 1.09 和 0.87 个 月 ， 而 性 别 因素 的 加 入 使 误差 
减 小 1.15 个 月 , 故 在 骨 龄 评估 中 加 入 性 别 信息 能 够 有 效 减 小 
误差 值 ， 提 高 回归 精度 。 
2.7 不 同 深度 学 习 方法 对 比分 析 

为 了 更 好 地 说 明 本 文 方法 在 骨 龄 评估 中 的 先进 性 ， 本 文 
对 近年 来 其 他 骨 龄 评估 方法 进行 比较 ， 表 4 展示 了 不 同方 法 
下 的 骨 龄 评估 平均 绝对 误差 值 。 

AA 不 同 骨 龄 评估 方法 结果 


Tab.4 Results of different bone age assessment methods 


Methods Date MAE/H 
VGGI16l? 2020 9.97 
RAS! 2019 7.38 
RRNetU?) 2021 6.38 
Ranking CNN!“ 2019 6.05 
SE-ResNet!'?l 2021 6.04 
OCNet"! 2020 5.84 
DA-Xception(ours) / 5.37 


EK 3 中 ， 文 献 [12] 将 骨 龄 评估 工作 分 为 两 个 阶段 ， 先 
对 图 像 进行 分 制 ， 去 除 手 部 X 射线 图 像 中 的 背景 干扰 信息 ， 
然后 采用 VGG16 网 络 进行 骨 龄 回归 ， 最 终 回 归 误 差 为 9.97 
个 月 。 文 献 [12~14, 19] 同 样 采取 上 述 思路 ， 先 对 数据 集中 图 
像 分 割 手 部 区 域 ， 剔 除 图 像 中 干扰 标签 信息 ， 然 后 将 分 割 图 
像 葵 入 骨 龄 回归 网 络 最 终 得 到 每 张 图 像 的 骨 龄 评估 结果 ， 这 
三 种 方法 最 终 得 到 回归 误差 分 别 为 7 

6.39 个 月 。 图 像 分 割 方法 有 效 的 去 除了 图 像 背景 干扰 ， 优 化 


骨 龄 评估 结果 ， 但 分 割 方法 需 对 数据 集中 图 像 手 部 区 域 进 行 
大 量 人 工 标注 工作 。 与 上 述 分 割 方法 相 比 ， 本 文 所 提出 的 将 


图 像 手 部 对 齐 方法 仅 需 要 对 少量 图 像 进 行 弱 注 释 ， 利 用 对 齐 


网 络 自动 提取 手 部 Rol 特征 ， 使 每 张 图 像 手 部 的 RoI 区 域 趋 
于 一 致 ， 同 时 本 文 方法 中 图 像 预 处 理工 作 能 够 抑制 图 像 中 的 


文献 [18] 提 出 在 骨 龄 评估 网 络 中 加 入 图 像 的 无 损 压 缩 模 
块 ， 在 降低 图 像 尺 寸 时 保证 图 像 的 质量 稳定 ， 随 后 将 图 像 输 
入 到 SE 注意 力 机制 和 ResNet 网 络 结合 的 骨 龄 回归 网 络 中 ， 
最 终 骨 龄 评估 误差 为 6.04 个 月 。 文 献 [13] 加 入 残 差 注意 力 使 
网 络 更 关注 Roi 区 域 , 相 比 于 在 网 络 中 单一 加 入 注意 力 机 制 ， 
本 文采 用 双 支 路 方式 加 入 通道 与 空间 并 行 注意 力 机 制 ， 最 终 
得 到 5.37 个 月 的 骨 龄 评估 误差 ， 优 于 表 3 中 的 其 他 方法 ， 3 
一 步 提高 评估 精度 。 

综 上 所 述 ， 本 文 方法 在 骨 龄 评估 中 仅 需 轻 量 级 图 像 标 注 
信息 即 可 完成 图 像 的 对 齐 工 作 ， 不 需要 过 多 的 人 工 处 理 ， 临 
床 应 用 可 行 性 更 高 。 此 外 ， 采 用 双重 注意 力 结构 进行 骨 龄 下 
归 工 作 相 对 线性 网 络 中 加 入 注意 力 机 制 能 够 更 充分 提取 手 部 
特征 信息 ， 进 一 步 提高 准确 性 ， 减 小 骨 龄 评估 误差 。 


3 RA 


针对 目前 骨 龄 评估 中 手 部 X 射线 存在 图 像 质量 不 高 , F 
部 区 域 在 图 像 中 尺寸 、 角 度 存 在 差异 情况 。 本 文 在 改 
线 图 像 质量 的 基础 上 ， 对 图 像 手 部 进行 对 齐 ， 同 时 创新 性 地 
提出 了 将 Xception 网 络 和 两 种 注意 机 制 通过 双 支 路 并 行 结构 
方式 结合 的 网 络 DA-Xception。 
本 文 的 骨 龄 评估 方法 分 为 两 个 部 分 , 第 一 部 分 对 义 身 

像 预 处 理 ， 使 图 像 的 对 比 度 、 亮 度 统一 ， 并 使 用 Swin 
Transformer 网 络 进行 提取 特征 使 X 射线 图 j 
域 对 齐 。 第 二 部 分 采用 DA-Xception 网 络 提 

域 特征 后 骨 龄 回归 得 到 评估 结果 。 最 后 通过 实验 证 明 本 文 
法 可 以 有 效 地 减 小 图 像 质量 对 评估 结果 的 影响 ， 并 与 当前 其 
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作 提 供 重要 参考 价值 ， 更 有 助 于 预防 青少年 生长 发 育 疾 病 。 
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